A Gravitational Interpretation of Fine-Tuning Reversion
微调回归的引力解释：几何视角下的行为恢复与干预
🧭 微调行为退化的几何机制与方向干预
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), UAE
用历史训练流形的“引力”解释微调后行为回归，通过阻断回归方向有效抑制有害性恢复
📌 工作参考价值（4 点）
- 持续微调或在线学习场景中，可监控表征漂移与历史回归方向(v_rev)的对齐程度，预警行为退化风险。
- 计算v_rev只需保存初始化检查点与当前模型的激活差异，工程开销低，适合嵌入增量训练流水线。
- 若需保留特定能力（如去偏见推荐），可在更新时投影梯度以阻断v_rev方向上的位移，实验证明能以极小任务代价大幅降低有害性。
- 方法不依赖特定安全向量，利用训练历史本身定义回归方向，对搜索推荐模型的偏好保持与灾难性遗忘缓解具有启发意义。